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究 者 需要 考虑 的 重要 问题 , 这 个 问题 可 以 转换 为 最 住 簿 
论 下 最 佳 样本 量 上 
式 法 等 三 种 传统 方法 与 约束 进化 算法 的 
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j 较 广 。 如 何 使 
# 本 量 估计 的 问题 。 
新 方法 一 一 约束 进化 算法 ， 并 采用 模拟 研究 的 方法 比较 了 微分 优化 法 、 拉 格 朗 日 法 、 
:在 两 侧面 交叉 设计 、 两 侧面 诅 
中 都 证 明了 约束 进化 算法 更 具 优 越 性 ,建议 研究 者 在 今后 的 研究 中 优先 使 
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测量 程序 在 预算 限制 的 情况 下 达到 较 优 的 可 靠 性 是 研 
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引言 


概 化 理论 (Generalizability Theory) 属 于 现代 心 
理 测 验 理论 , 广泛 用 于 心理 与 教育 测量 领域 ( 杨 志 
BA, 张 雷 ，2003; 朱宇 等 ,2013; BARRE, WDE, 
2014; Truong et al., 2021)。 概 化 理论 框架 的 一 个 优点 

是 能 够 精确 定位 测量 误差 的 多 个 来 源 (Clayson et al., 
2021)。 概 化 理论 分 为 概 化 研究 (G study) 和 决策 研究 
(D study) CE B F E, 2002)。 概 化 研究 的 目的 是 在 明 
ig 量 目 标 和 测量 侧面 的 前 提 下 , 在 观测 全 域 上 尽 


相对 误差 方差 两 者 之 和 的 比率 , 计算 表达 式 为 : 
Ep? =0°(r)/[o7(t) «o? (8)] (1) 
TEAS), Ep dem HELGA o? (0) 表示 
全 域 分 数 的 方差 分 量 ,也 就 是 测量 目标 的 方差 ,而 
O) 表示 相对 误差 方差 是 所 有 与 测量 目标 相关 
的 测量 侧面 交互 作用 所 得 方差 之 和 。 概 化 系数 的 高 
低 代表 了 测验 可 靠 性 的 高 低 。 由 公式 (1) 可 知 ， 当 分 
子 一 一 代表 测量 目标 的 方差 o?(7) 增 大 , 或 者 代表 
相对 误差 方差 的 gn(5) 减 小 时 ， 概 化 系数 Ep? 会 相 


能 多 的 探 明 研究 设计 中 的 各 种 测量 误差 的 来 源 、 
dt et al., 2020)。 决 策 研 究 的 目的 是 为 了 
某 种 特殊 的 决策 需要 ， 以 概 化 研究 所 得 到 的 这 些 方 
差分 量 估计 值 为 基础 ,通过 调整 测量 过 程 中 各 方面 
的 关系 (如 调整 各 个 侧面 样本 水 平 数 、 调 整 各 个 侧 
面 之 间 关 系 、 改 变 不 同 变 量 权 重 等 )， 来 探索 如 何 控 
制 和 调节 测量 误差 ( 黎 光 明 , 2019a)。 概 化 系数 是 指 
从 一 个 测验 的 被 试 得 分 拓 广 到 测验 程序 同等 接受 
度 的 条 件 全 域 中 , 被 试 均 分 估计 的 准确 性 (Zhang & 
Lin, 2016)。 概 化 系数 被 定义 为 全 域 分 数 方差 与 其 和 
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应 上 升 。 也 就 是 说 ， 当 测量 误差 相对 变 小 时 ， 概 化 
系数 Ep’ 会 变 大 。 

在 概 化 理论 中 ， 随 着 侧面 水 平 数 量 的 增加 ， 概 
化 系数 会 随 之 提高 。 然 而 ,如 果 在 研究 过 程 中 存在 
限制 条 件 ， 比 如 受 人 力 、 物 力 、 财 力 等 所 限 ,那么 
就 需要 权衡 是 否 需 要 对 人 研究 设计 做 出 改变 。 在 某 些 
情况 下 ， 让 概 化 系数 提高 所 要 增加 的 某 一 侧面 的 观 
察 数量 较 大 ， 这 时 需要 的 经 费 可 能 超出 预算 。 当 出 
现 这 种 情况 时 ,就 需要 权衡 增加 侧面 观察 数量 的 必 
要 性 (Brennan,，2001)。 由 此 看 来 ,预算 和 成 本 是 进 
行 测量 研究 时 不 可 忽略 的 问题 ,预算 的 高 低 在 某 种 
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程度 上 会 影响 测量 结果 的 正确 性 。 在 预算 限制 下 ， 
找到 一 个 高 可 靠 性 的 测验 程序 是 研究 者 关注 的 主 
要 问题 之 一 。 

增加 样本 量 是 减少 误差 方差 最 简单 也 是 最 直 
观 的 方法 。 但 是 , 样本 量 大 小 受到 经 费 和 测量 内 容 
的 限制 , 不 可 能 无 限 增 大 。 并 且 由 于 测量 设计 的 不 
同 , 采用 单纯 增加 测量 侧面 样本 数 的 方法 增加 概 化 
系数 ,很 可 能 出 现 即便 实际 费用 超出 预算 ,也 得 不 
到 理想 的 概 化 系数 的 可 能 性 (Marcoulides，1993)。 
Cronbach 等 人 (1972) 指 出 , 增加 测量 侧面 的 数量 ， 
一 般 会 使 测量 的 概 化 系数 提高 。 然 而 ,这 种 提高 是 
不 稳定 的 , 在 某 些 条 件 下 , 增加 大 量 的 测量 侧面 数 
量 也 只 能 对 概 化 系数 带 来 非常 微小 的 改变 。 所 以 ， 
如 何 寻找 预算 与 可 靠 性 之 间 的 平衡 点 ， 如 何在 总 体 
预算 限制 条 件 下 得 到 最 优 的 概 化 系数 成 为 研究 者 
需要 考虑 的 问题 。 另 外 , 不 同 的 概 化 设计 下 ,不 同 
侧面 的 样本 量 所 需 的 成 本 可 能 是 不 同 的 ,这 又 使 如 
何平 衡 预 算 与 概 化 系数 的 问题 变 得 更 加 复杂 。 因 此 ， 
采用 怎样 的 方法 在 预算 限制 下 估计 最 优 概 化 系数 ， 
并 取得 最 优 概 化 系数 对 应 的 最 佳 样本 量 , 成 为 概 化 
理论 实际 测量 应 用 中 的 重要 问题 。 

多 年 以 来 , 研究 者 对 概 化 理论 预算 限制 下 估计 
最 佳 样本 量 的 问题 进行 了 一 些 研究 (Marcoulides， 
1993; Meyer et al., 2014; ZGH, RTZ, KHOR, 
2020; 刘 颖 等 ,2020)。 但 是 , 前 人 的 研究 主要 集中 
在 传统 方法 领域 , 影响 较 大 的 有 微分 优化 法 
(differential optimization method), jv f& Bj H 1X 
(Lagrange method)、 柯 西 - 施 瓦 获 不 等 式 法 (Cauchy 
Schwartz inequality method, 简称 柯 西 不 等 式 法 ) 
等 。 这 些 传统 方法 基本 是 从 数学 规划 理论 出 发 , 通 
过 适用 性 研究 , 得 到 较 优 解 。 但 迄今 为 止 , 各 种 传 
统 方法 都 存在 计算 复杂 、 适 用 性 差 、 使 用 条 件 苛 刻 
等 问题 ,在 情况 较为 复杂 时 ,并 不 大 适合 在 实际 研 
究 中 指导 最 佳 样本 量 的 选择 。 

随 着 高 性 能 计算 机 算法 的 日 益 发 展 , 计算 机 进 
化 算法 在 最 优化 领域 已 经 足以 与 传统 方法 比肩， 很 
多 性 能 指标 上 可 能 已 经 超越 传统 方法 。 而 在 该 问题 
E, 还 没有 相关 的 理论 研究 和 实践 。 这 些 新 的 问题 
依然 有 待 于 研究 、 发 现 和 推广 。 基 于 此 , 本 研究 提 
出 一 种 基于 进化 算法 的 解决 该 问题 的 新 方法 一 一 
约束 进化 算法 (Constrained Optimization Evolutionary 
Algorithms)， 并 采用 模拟 研究 的 方法 比较 了 微分 优 
化 法 、 拉 格 庆 日 法 、 柯 西 不 等 式 法 等 三 种 传统 方法 
与 约束 进化 算法 的 优 劣 。 


2 概 化 理论 预算 限制 下 最 佳 样 本 量 
估计 
21 ”传统 方法 

在 总 体 成 本 有 限 、 预 算 限 制 情 境 下 寻找 最 佳 测 
量 设计 的 问题 最 早 由 Cleary 和 Linn (1969) 提 出 , 他 
们 发 现在 单 侧面 概 化 设计 中 , 在 成 本 允许 范围 内 使 
用 最 多 的 项 目 数量 即 可 获得 最 优 概 化 系数 , 但 是 这 
种 方法 不 具有 推广 性 , 在 测量 设计 包含 的 侧面 大 于 
两 个 时 该 算法 即 失 效 了 。 

Woodward 和 Joe (1973) 在 两 侧面 和 三 侧面 交 
叉 设 计 条 件 下 采用 微分 优化 法 推导 出 在 有 限 预 算 
下 计算 最 佳 样本 量 取 值 的 数学 方法 。 该 方法 是 将 数 
学 上 称 之 为 约束 条 件 的 预算 限制 表达 式 代 入 概 化 
系数 计算 方程 后 微分 求 极 值 ， 第 选 出 合理 结果 后 返 
回 代 入 约束 公式 , 求 得 最 终 的 最 佳 样本 量 。 这 种 方 
法 原理 简单 , 但 Woodward 和 Joe (1973) 只 讨论 了 在 
简单 的 预算 限制 公式 下 ， 两 侧面 和 三 侧面 条 件 下 交 
又 设计 的 情况 , 并且 由 于 原理 的 限制 , 该 方法 不 能 
简单 推广 到 其 他 般 套 设计 中 , 对 于 更 多 侧面 的 情况 ， 
公式 推导 难度 和 计算 复杂 度 更 是 呈 指 数 级 增加 ， 所 
以 有 较 大 的 局 限 性 。 

Macrolides 和 Goldstein (1990) 利 用 两 侧面 和 三 
侧面 完全 交叉 随机 设计 的 案例 ,首次 提出 了 采用 拉 
格 明 日 法 求解 预算 限制 下 最 佳 样本 量 取 值 ， 并 且 首 
次 采用 放 缩 的 方式 简化 了 三 侧面 完全 交叉 随机 模 
型 的 计算 难度 。 

拉 格 朗 日 法 的 主要 计算 特点 是 引入 了 拉 格 朗 
HÆFT 入 。 郑 芳 英 和 高 雪 芬 (2018) 构 建 了 拉 格 朗 日 
法 一 般 式 : 

L(x,y,4)= f(x,y)—A9(x,y) (2) 

拉 格 朗 日 法 求解 过 程 为 ,依据 公式 (2), 使 函数 
f(x,y) 在 函数 p(x,y) 限制 下 取得 最 优 解 ， 且 对 L(x, 
y,A) P x, y. X 分别 求 偏 导 ， 并 令 对 应 一 阶 偏 导 
数 等 于 零 ， 得 到 : 

Li = fix, y) - Ag) (x,y) = 0 
Ly = fy y) - A9, x, y) =0 (3) 
L; =g(x,y)=0 

解 以 上 方程 组 ， 就 可 得 到 x y 、X 的 值 ， 此 时 
解 (x,y) 即 为 待 优化 函数 f(x,y) 在 限制 条 件 px, y) 
下 取 到 的 极 值 ， 若 极 值 点 只 有 一 个 , 则 为 该 待 优化 
问题 的 最 优 解 。 在 概 化 理论 预算 限制 下 最 佳 样本 量 
佑 计 间 题 中 , 一 般 将 含有 样本 自 变量 的 相对 误差 方 
差 函 数 05 作为 待 优化 函数 ,将 预算 限制 公式 的 变 
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形 公 式 作 为 限制 条 件 ， 最 终 求 得 最 佳 样本 量 取 值 。 

但 是 ，Macrolides 和 Goldstein (1990) 只 给 出 了 
拉 格 朗 日 法 的 计算 方法 , 没有 论证 这 种 方法 的 适用 
性 ， 也 缺乏 阐述 其 运行 原理 。 随 后 ，Goldstein 和 
Marcoulides (1991) 从 原理 上 论证 了 拉 格 明日 法 在 
三 侧面 随机 模型 上 求 得 预算 限制 下 最 佳 样本 量 取 
值 的 正确 性 。 同 时 , 提出 了 一 种 二 分 搜索 查找 法 ， 
用 一 个 三 侧面 随机 交叉 设计 实例 演示 了 该 方法 的 
运用 , 但 这 种 方法 步骤 琐碎 ， 难 以 应 用 。 并 且 ，Gold- 
stein 和 Marcoulides (1991) 提 到 了 一 个 较为 粗糙 的 
拉 格 朗 日 法 在 随机 四 侧面 模型 下 解决 预算 限制 问 
题 的 初步 公式 ， 以 表示 拉 格 朗 日 法 更 具 广 泛 的 适用 
TE, 但 这 组 公式 较为 复杂 ,也 没有 给 出 实证 数据 ， 
且 依 然 缺 乏 拉 格 明 日 法 在 其 他 概 化 设计 中 适用 性 
的 研究 。Marcoulides (1993) 首 次 对 多 种 预算 限制 条 
件 进 行 讨论 ， 给 出 了 儿 种 适用 于 不 同 实际 测量 情境 
的 不 同 预 算 限 制 表 达 式 。Meyer 等 人 (2014) 通 过 一 
个 学 生 评 教 的 实例 , 检验 了 拉 格 朗 日 法 在 两 侧面 以 
及 三 侧面 多 种 垦 套 设计 下 对 预算 限制 下 样本 量 求 
解 问题 的 适用 性 。 但 是 ， 拉 格 朗 日 法 还 是 存在 适应 
性 不 佳 、 对 计算 要 求 高 等 问题 。 

Stuart (1954) 在 抽样 调查 领域 提出 了 利用 柯 西 - 
施 瓦 菊 不 等 式 估 计 带 约束 条 件 下 最 佳 样本 量 取 值 
的 方法 。 他 提 到 , 在 抽样 调查 问题 中 总 样本 方差 等 
于 各 侧面 方差 与 样本 量 比 值 的 加 和 ， 即 
v= r/m), EP v 为 总 样本 方差 ,v4 为 计算 所 
得 侧面 的 样本 方差 分 量 ，nj 为 侧面 的 样本 量 。 
但 是 , 他 提出 的 计算 方法 并 不 能 简单 应 用 于 概 化 理 
WP o Sanders (1992) 首 次 将 柯 西 不 等 式 法 应 用 于 求 
解 概 化 理论 预算 限制 下 最 佳 样本 量 ， 提 出 了 一 个 随 
机 两 侧面 设计 在 几 种 预算 表达 式 下 的 最 佳 样本 量 
求解 方法 ， 并 给 出 了 一 个 两 侧面 的 实例 。 

柯 西 不 等 式 的 基本 定义 为 : 设 有 两 组 任意 实数 
ap a...a, T b. bs... b, , 则 不 等 式 


IH 


n 


2 
Sed = [San (4) 


i=l i=l i=l 


ME BUR = = ak WHO, A 
hob — b, 


3X(4)X xr, Sanders (1992) 为 了 将 这 种 方法 引入 概 
化 理论 预算 限制 下 最 佳 样本 量 求解 问题 中 , 将 预算 
表达 式 定义 为 各 侧面 数量 与 每 个 侧面 固定 费用 乘 
BZA, 即 c= Dem, 其 中 为 总 预算 ，6 为 侧面 
h 单 位 样本 的 固定 费用 ，n; 为 侧面 h 的 样本 量 。 仿 
照 柯 西 不 等 式 的 基础 公式 ， 可 以 得 到 : 


= [D2 (om) > (Ea) (5) 
"(EUN i =k (k 为 一 个 常数 ) 时 ,公式 


ACh 

(5) 成 立 。 由 于 为 解 出 的 常数 ， 而 ww 、cy c. vg 
参数 已 知 ， 故 可 以 由 此 解 出 最 佳 样本 量 坟 的 值 。 由 
于 需要 满足 柯 西 不 等 式 的 定义 ， 因 此 每 种 概 化 设计 
都 需要 单独 构造 计算 公式 ， 且 柯 西 不 等 式 严格 要 求 
预算 表达 式 呈 加 法 形式 。 

在 计算 上 , 柯 西 不 等 式 法 难度 适中 , 但 需要 构 
造 特殊 不 等 式 ， 所 以 增加 了 相当 程度 的 构造 难度 ， 
并 严格 依赖 于 加 法 的 预算 表达 式 ， 故 较 难 推广 。 
2.2 ”传统 方法 预算 限制 条 件 

在 概 化 理论 预算 限制 下 最 佳 样 本 量 估计 的 研 
究 中 ,先后 出 现 了 多 种 预算 限制 表达 式 。 Woodward 
和 Joe (1973) 提 出 了 简单 的 样本 量 乘积 的 限制 表达 
an, =L, 其 中 、nj 为 侧面 样本 量 ， 工 为 总 预算 
限制 。Marcoulides (1993) 提 出 了 根据 单位 成 本 定义 
的 连 乘 式 预算 表达 式 cnin,…n, € B, 其 中 为 完成 
测验 每 一 项 目的 单位 成 本 ，nj、n .nn 为 各 侧面 的 
水 平 数 ，B 为 总 预算 。 为 了 满足 部 分 研究 中 不 同 侧 
面 所 需 费 用 不 一 致 , 或 同 侧面 水 平 费 用 不 一 致 的 情 
DL, 研究 者 又 陆续 提出 了 多 种 多 项 式 形式 的 预算 表 
达 式 , Wean +cem +cepnm SB., emen SB, 
cm+cpmn SBS, HA ag. c. o 为 符合 某 种 
HELA, om n WIA ERE, 
B 为 总 预算 。 

在 概 化 理论 预算 限制 下 最 佳 样 本 量 估计 的 传 
统 方法 中 ,预算 表达 式 的 选择 是 一 个 不 可 忽视 的 问 
1L, 预算 限 制 条 件 可 以 是 简单 的 ,也 可 以 是 复杂 的 ， 
取决 于 研究 设计 和 设置 (Jutkowitz et al., 2019): 一 
方面 , 不 同 的 概 化 设计 可 能 对 预算 表达 式 有 特殊 的 
要 求 ， 比 如 可 能 出 现 同 侧面 不 同 水 平 花费 不 一 致 的 
现象 , 或 者 需要 固定 某 一 侧面 花费 等 特殊 情况 ， 这 
就 需要 预算 表达 式 做 出 相应 的 改变 ; 男 一 方面 , 不 
同 的 预算 限制 下 最 佳 样本 量 求解 方法 对 预算 表达 
式 也 有 特殊 的 要 求 ， 如 微分 优化 法 依赖 于 复杂 度 低 
的 预算 表达 式 ， 一 旦 预算 表达 式 过 于 复杂 ， 可 能 出 
现 无 法 收敛 或 者 计算 复杂 度 过 高 的 问题 ， 而 柯 西 不 
等 式 法 则 依赖 于 连 加 形式 的 预算 表达 式 , 无 法 对 连 
乘 形式 的 预算 表达 式 进 行 运算 。 

2.3 MAK 

概 化 理论 预算 约束 条 件 下 最 佳 样本 量 估计 的 

问题 ,在 数学 上 可 以 归纳 为 带 约束 最 优化 问题 
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(Constrained Optimization Problems)。 近年 来 , 依靠 
高 性 能 计算 发 展 起 来 的 进化 算法 逐渐 脱颖而出 ,成 
为 了 解决 带 约 束 最 优化 问题 的 最 新 选择 。 传统 的 带 
约束 最 优化 方法 通常 只 基于 梯度 信息 ， 如 简约 梯度 
法 、 投 影 梯度 法 、 内 点 惩罚 函数 法 等 (村 等 等 ， 
2021)。 这 些 方法 只 能 优化 部 分 问题 , 对 复杂 的 非 凸 
的 、 不 连续 不 可 导 的、 多 目标 多 约束 条 件 等 问题 毫 
FINE. FFA, 这 些 方法 灵活 性 差 , 往往 求解 问题 
稍稍 变化 ， 就 会 导致 方法 效用 降低 甚至 失灵 。 
约束 进化 算法 通过 模拟 生物 界 基因 交 义 、 基 因 
变异 、 基 因 重 组 等 方式 驱动 计算 机 算 子 进行 进化 ， 
从 而 引导 种 群 趋向 最 优化 。 约束 进化 算法 经 过 多 年 
的 发 展 ， 从 最 初 常常 存在 早熟 收银 、 搜 索 停滞 、 求 
解 精度 低 等 问题 ， 发 展 到 如 今 全 局 搜索 与 局 部 搜索 
并 重 , HER. KAARE, 已 经 相当 成 熟 。 另 外 ， 
约束 进化 算法 还 具有 天 然 并 行 性 、 不 需要 额外 信 
息 、 输 出 结果 多 样 等 传统 的 带 约束 最 优化 方法 不 具 


交叉 设计 pxixr 使 用 蒙特 卡 洛 数据 模拟 研究 对 4 
种 估计 方法 进行 比较 。 
3.1 pxixr 设计 概 化 系数 及 相对 误差 方差 

在 pxixr 概 化 设计 中 ,， 概 化 系数 及 相对 误差 方 
差 表 达 式 为 : 


2 
2 Op 
Ep = P J z (6) 
nj n, nin, 
2 2 3 
O,; O o 
i r 
aj = p " p 十 二 1es (7) 
n n, nn, 


3.20 pxixr 设计 预算 表达 式 

在 本 研究 中 , 柯 西 不 等 式 法 因 算 法 构造 的 需要 ， 
必须 采用 加 法 多 项 式 形式 的 预算 表达 式 , 为 了 方便 ， 
在 两 侧面 设计 中 将 统一 采用 : 


en *eynnm SB (8) 


公式 (8) 为 预算 表达 式 。 为 了 不 失 一 般 性 且 具 有 


备 的 优点 。 约束 进 化 算法 种 类 有 经 典 遗 传 算 法 、 差 
分 进化 算法 、 改 进 型 差分 进化 算法 、 蚁 群 算法 、 多 
目标 粒子 群 算法 等 ( 刁 兴 春 等 , 2017)。 不 同 的 算法 
性 能 、 适 合 问题 各 不 相同 ， 各 有 优 缺 点 。 就 目前 而 
言 ， 在 概 化 理论 领域 ， 尚 未 有 约束 进化 算法 适用 性 
的 相关 研究 。 


— 


实践 意义 ， 本 研究 选用 了 黎 光 明和 欧 旭 伦 C2020) 关 
于 评 教 问卷 问题 的 费用 参数 作为 预算 表达 式 的 费 
用 参数 ， 如 表 1 所 示 。 


本 研究 根据 概 化 理论 预算 限制 下 最 佳 样本 量 
估计 问题 的 特点 ,选择 了 在 单 目 标 全 局 优化 领域 较 
为 成 熟 、 性 能 较 好 的 “改进 型 差分 进化 算法 ”。 该 方 
法 是 一 种 新 型 、 高 效 的 启发 式 并 行 搜索 技术 (Neri & 
Tirronen, 2010)， 具 有 优化 效率 高 、 参 数 设置 简单 、 
鲁 棒 性 较 好 等 优点 ( 丁 青 锋 ， FES, 2017)。 改进 型 
差分 进化 算法 基于 三 种 典型 遗传 操作 驱动 计算 机 
算 子 不 断 进化 ,其 算法 的 核心 是 将 初始 种 群 中 选 出 
的 随机 一 对 个 体 加 权 之 后 的 差 向 量 作 为 第 三 个 个 
体 的 变异 数 ， 然 后 经 过 随机 的 参数 混合 实现 交叉 变 
异 , 检测 适应 度 ， 进 行 第 选 迭代 ,， 优胜劣汰 ， 最 终 
得 到 最 优 解 。 改 进 型 差分 进化 算法 的 基本 步骤 如 
F: (1) 选 择 初始 解 空间 种 群 ; (2) 检 测 是 否 满足 最 终 
解 条 件 ， 如 果 达 到 ,程序 停止 ; (3) 对 当前 种 群 适应 
度 等 指标 进行 分 析 记 录 ; (4) 选 择 差 向 量 ， 得 到 差分 
变异 个 体 ; (5) 差 分 变异 个 体 与 种 群 进行 交叉 变异 ， 
得 到 变异 种 群 ; (6) 初 始 种 群 与 变异 种 群 根据 适应 度 
等 条 件 进行 选择 ; (7) 回 到 步骤 2 继续 执行 。 


3 pxixr 设计 模拟 研究 
本 研究 采用 在 实践 中 应 用 较为 普遍 的 两 侧面 


表 1 问卷 费用 
项 目 单价 单位 成 本 
评 教 问卷 工本 费 1 元 / 份 
被 试 费 8 元 / 份 Cy = 0.4 JÈ 
评 教 问卷 邮递 费 1 元 / 份 


在 表 1 中 , 每 题 单 位 成 本 cs = 0.4 元 , 问卷 设 
计 阶 段 额 外 费用 cl = 5 元/ 道 。 此 情境 下 ，n 代表 题 
目 数量 ，n, 代表 被 试 数量 。 因 为 本 研究 的 目的 是 探 
讨 最 优化 方法 的 正确 性 ,所 以 省 去 预算 单位 ， 仅 取 
cz=04、a=5， 进 行 抽象 研究 。 
3.3 pxixr 设计 最 佳 样本 量 估计 方法 
3.3.1 ”微分 优化 法 

在 pxixr 概 化 设计 中 , 运用 微分 优化 法 求解 
概 化 设计 最 佳 样本 量 ， 需 要 将 预算 表达 式 公 式 (8) 
代入 到 概 化 系数 具体 表达 式 公 式 (6) 中 ,得 到 表达 
式 : 


2 
Oo 


2 
Ep = 5 D 5 (9) 
2 Opi Opr O res 
o, 十 B + B 
n, - cn - eh 
cn; C 


1 


然后 , 将 表达 式 (9) 求 偏 导 ,得 到 表达 式 : 


(^b vi Af HOT 
ChinaX iv@ FF 
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2 2 2 2 2 2 2 
dE p sag erige O pi 4 Opr 4 Trs ne 05i " v. NEZ (10) 
dn, P n,  B-cn B-cn P m B-cn B-cn; 
cn; c cn; c 
经 过 计算 , RERA AY te HEE AS E n 与 的 结果 表达 式 为 
2 2 2 2 2 227. -2 p? 
o 2P on Git OBO on) -ABc ob creo oc TB | Bren hn 
i 2 2 2,2 c 
2| B66, +c 00, 70,06] cn; 


3.3.2 ” 拉 格 朗 日 法 

在 pxixr 概 化 设计 中 , 运用 拉 格 朗 日 法 ， 可 以 
将 相对 误差 方差 表达 式 公式 (7)， 以 及 相应 的 预算 
表达 式 公 式 (8) 代 入 到 本 文 提 到 的 拉 格 明日 一 般 式 
公式 (2) 中 ,得 到 表达 式 : 

minL(n;,n,, A) = 02 — A(c;n; * cn;n, — B) (12) 

结合 公式 (7) 与 公式 (8), 运用 上 文 提 到 的 拉 格 
朗 日 法 求解 过 程 ， 参 考 黎 光明 和 欧 旭 伦 (2020) 人 研究 
中 的 计算 方法 , 得 到 在 pxixr 概 化 设计 下 最 佳 样本 
量 n 与 ,的 表达 式 : 


2 2 
B Oz B | G 
n, = pms | £ 2), (en (13) 
C; + CN, O^. Cc oO [6 


pi 
3.3.3” 柯 西 不 等 式 法 

在 pxixr 概 化 设计 中 , 运用 柯 西 不 等 式 法 求解 
最 佳 样本 量 , 与 拉 格 朗 日 法 类 似 , 运用 相对 误差 方 
差 表 达 式 公式 (7)， 以 及 相应 的 预算 表达 式 公 式 (8)， 
利用 柯 西 不 等 式 原理 ,结合 Sanders (1992) 提 到 的 概 
化 理论 柯 西 不 等 式 构 造 法 , 求 出 柯 西 不 等 式 法 常数 
k， 并 结合 常数 与 预算 表达 式 公 式 (8),， 参考 黎 光 
明和 欧 旭 伦 (2020) 研 究 中 的 计算 方法 ， 得 到 公式 : 


2 
B 
Jonda + b) ale 
p= " 
B 
运算 后 得 到 最 佳 样本 量 疡 与 的 结果 表达 式 : 


2 
ome B-cn, 
am. a= zu (15) 
cik Cn; 


3.3.4 ”约束 进化 算法 

与 传统 方法 依赖 计算 公式 不 同 , 约束 进化 算法 
无 需 推导 计算 表达 式 , 在 进化 算法 完成 后 ， 只 需要 
将 约束 条 件 的 预算 表达 式 公 式 (8) 与 待 优化 问题 公 
式 (7) 代 入 到 进化 算法 程序 中 , 然后 根据 实际 情况 
调整 算法 参数 ， 即 可 得 到 最 终 最 优 解 ， 也 就 是 最 佳 
FEAT n; 5j n, 。 运 用 本 研究 所 采用 的 改进 型 差分 进 
化 算法 时 ， 需 调整 的 关键 参数 有 : 


(14) 


(初始 化 目标 维 数 M = 1, 决策 变量 维 数 Dim = 2, 

(2) 编 写 优化 目标 即 pop.ObjV = evpr / x1 + evpi 
/ x2 + evpir / (x1 * x2). 

(3) 编 写 约束 条 件 即 pop.CV = np.hstack([(c, * 
x1 * x2+c*x2)-B])。 

(4) 调 试 进 化 种 群 适用 度 、 变 异 率 、 重 组 率 等 重 

myAlgorithm.MAXGEN = 10000 # 最 大 进化 
代数 ; 

my Algorithm.mutOper.F = 0.00001 4 差分 进化 
中 的 参数 下; 

myAlgorithm.recOper.XOVR = 0.7 # H 

约束 进化 算法 是 一 种 概率 算法 ， 种 群 规模 、 编 
码 方式 、 种 群 适应 度 、 变 异 率 等 参数 影响 该 算法 的 效 
R, 需要 进行 一 定 的 手工 调整 ， 以 达到 最 优 效 果 。 
3.4 计算 方法 研究 工具 

为 了 配合 模拟 研究 大 批量 研究 数据 ， 本 人 研究 将 
上 述 计算 方法 完成 了 代码 化 。 采 用 R 语言 , 分 别 为 
微分 优化 法 、 拉 格 朗 日 法 、 柯 西 不 等 式 法 编写 分 析 
程序 。 采 用 Python 语言 ， 利 用 由 华南 农业 大 学 E 
南大 学 等 高 校 共 同 开发 维护 的 Python 进化 算法 工 
HE Geatpy2， 为 改进 型 差分 进化 算法 编写 分 析 程 
Fr, 并 保留 了 程序 接口 , 方便 与 模拟 数据 对 接 。 
3.5 ”模拟 数据 生成 

一 般 来 说 ， 参考 Brennan (2001) 人 研究 的 流程 ， 
蒙特 卡 洛 模拟 技术 在 概 化 理论 生成 数据 的 主要 过 


de 

T 
E 

AE 


pan 


组 概率 ; 


首先 , 将 要 做 数据 模拟 的 概 化 设计 转化 为 相应 
的 数学 模型 ， 以 pxixr 设计 为 例 ， 数学 模型 为 : 
X pir = U+ (Hp — H) + (4; — H) + (4. — H) + 
(Upi — Hp 7 Hi + H)+(Hpr 7 Hp Hr +H) + 
(Mir — Hi — L, + H) + 
(X pir Hpi Hpr 7 Hir + Hp Hit H,-H) (16) 


Ri 
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其 次 ,将 数学 模型 转换 为 方差 分 量 模式 : 
X pir SPV HV; +V, +V pi Vpr Ph +V 
再 次 ,将 方差 分 量 模式 转换 为 : 


X pir = MAO 2) t G;Z, + O,Z, +O piZ pj + 


(17) 


pir,e 


O prZ pr T OjZi, * O pir pir 


(18) 
HP, Cin. Ois Ops Opis Ops Ors Opr EN 
已 知 的 方差 (标准 差 平方 ) 参 数 ，4 为 分 数 的 期 望 ， 
在 模拟 研究 中 一 般 设 定 为 0，z, Zis Zes za Zpr> 
Zins Zoir 一 般 设 定 为 介 于 (0, 1) 之 间 的 随机 数 ， 利用 
计算 机 语言 中 的 正 态 随机 数 生 成 函数 生成 (R 语言 
中 为 rnorm 函数 )。 

最 后 ,将 所 有 分 量 连 乘 连 加 ， 得 到 模拟 数据 
Xi， 在 实际 使 用 中 ,需要 根据 各 侧面 的 样本 数量 
确定 数据 和 矩阵 的 格式 和 大 小 ,形成 最 终 的 模拟 数据 
XR IAE 

本 研究 在 蒙特 卡 洛 模拟 数据 生成 的 过 程 中 使 
用 的 编程 语言 为 R 语言 。 因 为 R 语言 在 模拟 数据 
过 程 中 运算 效率 不 高 ， 只 能 单 核 单线 程序 运行 , 在 
处 理 大 规模 矩阵 运算 、 大 批量 数据 模拟 中 是 十 分 耗 
时 的 , 所 以 本 研究 采用 了 Docker 容 需 虚拟 化 技术 ， 
将 蒙特 卡 洛 模 拟 程序 运行 在 数 台 Linux 高 性 能 服务 
器 中 ,实现 了 模拟 程序 多 核 并 行 计算 。 相 较 于 善 通 
PC 机 ,程序 的 运行 效率 提高 了 20 倍 以 上 。 这 种 技 
术 将 来 也 可 以 在 其 他 模拟 研究 中 使 用 。 

3.6 ”模拟 数据 参数 估计 

在 利用 R 语言 蒙特 卡 洛 模拟 程序 语句 生成 模 
拟 数据 矩阵 后 ,本 研究 采用 及 语言 中 较为 成 熟 的 基 
于 混合 线性 模型 和 限制 性 极 大 似 然 法 概 化 理论 软 
件 包 gtheory 进行 参数 估计 。 

对 于 pxixr 的 数学 模型 ， 根 据 上 文 提 到 的 模拟 
数据 生成 方式 , 需要 确定 模拟 数据 参数 o, . o. 
0,、Opi、Opr、Oir、Opi 等 。 为 了 模拟 研究 的 真 
实 性 且 不 失 一 般 性 , 采用 了 黎 光 明 (2019b) 在 研究 
中 提 到 的 两 侧面 交叉 设计 方差 分 量 作为 本 次 模拟 
研究 的 参数 (出 于 统一 性 的 考虑 ， 更换 了 部 分 符号 )， 
如 表 2 所 示 。 


ro 


X2 pxixr 设计 方差 分 量 


p 1 r pi pr ir pir,e 


0.01009 0.01289 0.00047 0.02070 0.00189 0.01130 0.03256 


根据 实践 中 的 研究 经 验 ， 本 设计 将 测量 目标 p 
的 样本 量 ,固定 为 30。 为 了 探讨 在 测量 侧面 不 同 


水 平 数 情况 下 各 预算 限制 最 佳 样本 量 估 计 方 法 的 
有 效 性 ,在 模拟 数据 生成 中 ， 本 研究 采用 了 多 种 测 
量 侧面 水 平 数 ， 此 处 选取 n= (20,40), n, = (5,10)， 
形成 了 2x2 四 种 不 同 的 模拟 设计 。 为 了 配合 4 种 设计 ， 
从 实践 出 发 ,本 研究 也 将 预算 限制 分 为 4 B = 
(100, 150, 200, 250)。 因 为 数据 量 较 大 ， 所 以 每 种 设 
计 仅 模拟 500 次 , 共 2000 次 。4 批 数 据 生成 后 , RU 
用 上 文 提 到 的 gtheory 包 分 析 方 差分 量 , 为 了 后 续 
分 析 , 将 所 得 500x4 个 结果 分 别 输 出 到 csv 文 件 中 。 
3.7 ”模拟 研究 结果 

为 了 便于 分 析 , 分 别 对 得 到 的 4x4 (A 种 模拟 设 
ib x 4 种 方法 ) 组 最 佳 概 化 系数 取 平 均 数 , 通过 比 
较 概 化 系数 平均 数 来 比较 4 种 方法 ,得 到 的 结果 如 
表 3 所 示 。 
3.8 ”分 析 与 讨论 

根据 表 3, 在 pxixr 概 化 设计 中 , 4 种 算法 在 4 
种 样本 量 条 件 下 得 到 的 预算 限制 下 最 佳 概 化 系数 
都 很 优异 ， 都 可 以 满足 人 们 日 党 研究 的 需求 。 值 得 
注意 的 是 ， 三 种 传统 方法 在 该 条 件 下 ， 所 得 到 的 分 
析 结 果 几 乎 相同 ， 这 可 能 与 计算 机 程序 的 精度 和 佑 
算 方法 有 关 ， 这 也 从 侧面 证 明了 本 研究 关于 微分 优 
化 法 基于 新 的 预算 表达 式 的 推导 是 正确 的 。 

约束 进化 算法 在 pxixr 概 化 设计 下 , 得 到 的 概 化 
系数 与 三 种 传统 方法 相差 无 几 , 并 且 在 多 次 比较 中 ， 
都 比 传统 方法 更 好 地 将 花费 限制 在 了 预算 范围 内 。 

在 运算 时 间 上 , 传统 方法 因为 所 有 的 分 析 过 程 
都 是 在 计算 机 程序 之 外 完成 的 ， 所 以 看 起 来 比 约束 
进化 算法 快 一 些 。 但 是 ,考虑 到 实际 研究 中 ， 概 化 
设计 方案 的 选择 仅 在 测验 人 研究 时 进行 一 次 ,这 点 时 
间 几 乎 可 以 忽略 不 计 。 
4 (pri 设计 模拟 研究 

本 研究 进行 了 两 侧面 租 套 设计 (r:p)xi 的 模拟 研 
R, 其 数学 推导 与 pxixr 设计 相似 , 结果 表明 , 4 种 
算法 的 表现 与 pxixr 设计 中 的 表现 大 体 相同 ,限于 
篇 幅 , AN FRI 
5 pxixrxo 设计 模拟 人 研究 
pxixrxo 设计 概 化 系数 及 相对 误差 方差 
三 侧面 交叉 设计 pxixrxo 是 经 典 的 三 侧面 概 化 
设计 , 也 是 其 他 同类 概 化 设计 的 基础 。 例 如 ,在 实 
ERF, p 可 以 代表 被 试 , i 可 以 代表 测验 题目 , 而 r 可 
以 代表 评分 员 , o 可 以 代表 不 同 的 测验 场合 。 


5.1 
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表 3 四 种 计算 方法 比较 结果 
样本 量 组 合 
条 件 20x5 20 x 10 
组 合 概 化 系数 最 佳 样 最 佳 样 设计 — Me 概 化 系数 最 佳 样 最 佳 样 设计 分 析 
本 量 n AR n, 花费 时 /s ASHE Nn AS n, 花费 用 时 /s 
微分 0.819773870  13.1667055 6.4872856 100 0.85970836 18.9712839 7.26671699 150 
s n 0.002 0.0060 
优化 法 0.814549990 13 6 96.2 0.85844574 19 7 148.2 
拉 格 — 0.819773870 13.1667055 6.4872856 100 0.85970836 18.9712839 7.26671699 150 
" 0.006 0.0079 
PAA  0.814549990 13 6 96.2 0.85844574 19 7 148.2 
柯 西 不 0.819773870 13.1667055 6.4872856 100 0.85970836 18.9712839 7.26671699 150 
Pap 0.006 0.0078 
等 式 法 ”0.814549990 13 6 96.2 0.85844574 19 7 148.2 
约束 进  0.818306752  14.0492881  5.2942692 99.9 0.85935208  18.5389829 7.67551280 149.9 
: 9.795 10.072 
化 算法 ”0.814821502 14 5 98 0.86328631 19 8 155.8 
样本 量 组 合 
条 件 40x5 40 x 10 
组 合 概 化 系数 最 佳 样 最 佳 样 设计 ”分 析 概 化 系数 最 佳 样 最 佳 样 设计 分 析 
本 量 n AR n, 花费 时 /s 本 量 n AS n, 花费 用 时 /s 
微分 0.889393370 24.28057970 8.09258899 200 0.906841124 29.4206630 8.74357291 250 
d 0.0034 0.00350 
优化 法 “0.888094949 24 8 196.8 0.906658958 29 9 249.4 
拉 格 0.889393370 24.28057970 8.09258899 200 0.906841124 29.4206630 8.74357291 250 
. 0.0027 0.00223 
朗 日 法  0.888094949 24 8 196.8 0.906658958 29 9 249.4 
柯 西 不 0.889393370 24.28057970 8.09258899 200 0.906841124 29.4206630 8.74357291 250 
Nora 0.0025 0.00454 
等 式 法 ”0.888094949 24 8 196.8 0.906658958 29 9 249.4 
约束 进  0.888315630 24.01884929 8.03969713 200 0.906071456 31.1473389 7.49944160 250 
、 9.9540 9.75300 
化 算法 0.888094949 24 8 196.8 0.903522912 31 7 241.8 
pxixrxo 三 侧面 交叉 设计 概 化 系数 及 相对 误差 本 研究 假设 连 乘 预算 表达 式 中 c = 1, 多 项 式 表 达 


方差 表达 式 : 
Ep! = P D = 二 (19) 
o Opi pr O po pir O pio O por res 
p ! t F F ! ! F 
nj n, n, nn. nn, Nn, nnn, 
2 2 2 2 2 2 2 
i r O ir io OF e. 
os = p + p + p p p p 十 -一 rey (20) 
"lj n, n, nn, nin, nN, njn,n, 


5.0. pxixrxo 设计 预算 表达 式 
在 概 化 理论 预算 限制 下 最 佳 样 本 量 估计 的 研 


究 中 ， 


导致 各 种 计算 方法 对 预算 表达 式 的 要 求 变 


三 侧面 设计 推导 与 计算 难度 远大 于 两 侧面 


得 苛刻 


起 来 。 在 三 侧面 设计 下 ,微分 优化 法 和 拉 格 朗 日 法 
都 要 求 使 用 连 乘 式 预算 表达 式 : 
cnm n, S B (21) 
而 柯 西 不 等 式 法 在 三 侧面 情况 下 则 依然 要 求 
加 法 多 项 式 形式 的 预算 表达 式 : 
cm+cn +c313 X B (22) 
只 有 约束 进化 算法 可 以 兼容 所 有 类 型 的 预算 
表达 式 ， 所 以 在 三 侧面 设计 下 ,本 研究 以 约束 进化 
算法 为 桥梁 , 分 两 次 比较 4 种 方法 的 优 劣 。 


为 了 便于 模拟 研究 并 且 不 失 代 表 性 和 普遍 性 ， 


式 中 cj=20、c =30、c =40。 
5.3 pxixrxo 设计 最 佳 样 本 量 估计 方法 
5.3.1 ”微分 优化 法 

在 pxixrxo 概 化 设计 中 , 运用 微分 优化 法 求解 
概 化 设计 最 佳 样本 量 ， 要 求 较为 苛刻 , Woodward 和 
Joe (1973) 提 出 了 一 种 复杂 的 六 次 多 项 式 表 达 式 解 
法 , 是 将 形 如 公式 (21) 的 连 乘 预算 表达 式 代入 三 侧 
面 概 化 系数 表达 式 公式 (19) 中 ， 并 求 偏 微分 ， 得 到 
n, 表达 式 : 

0=An,° + Bn? «Cn + Dn? + En? + Fn, +G 
4 2 


A= Opio pi 07, oL 


B-o5,0,0Lt0, CP o EET Mt ES 


pio* por pio™ pir 
4 2 2 2 
C= 0 i8 pel bo, Und 0 iL 
E. 2 2 2 2 
D= 26 Toes Topas -20; ,OpioO aD uL 一 


2.2 2 23 
20? (ToT pr pe (23) 


3 2 2 2 
E- o, .07 sb 20°, ,Opio0 or O pi 


po~ pi 


2 _2 3 4 2 2 3 
Peg). E ,L cur ub + OF vir Foy „L 


2 2 
G= O por O pir 0, JE 
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解 出 ,的 值 后 ,再 根据 表达 式 : 


2 2 
2c SERE "T : 
LL PO UN. i 
解 出 n, n, AE o 
5.3.2 ” 拉 格 朗 日 法 
针对 三 侧面 最 佳 样 本 量 估 计 计 算 困 难 的 问题 ， 
Marcoulides 和 Goldstein (1990) 提 出 了 一 种 调整 相 
对 误差 方差 表达 式 的 方法 ， 相 当 于 数学 上 的 放 缩 法 ， 
以 获得 相对 误差 方差 的 上 界 。 本 研究 对 三 侧面 最 佳 
样本 量 估 计 的 拉 格 明日 法 也 采用 了 这 种 放 缩 法 。 
首先 ,将 三 侧面 相对 误差 方差 表达 式 公 式 (20)， 


(24) 


放 缩 为 : 
> 2 2 2 2 2 2 
G^ (S o ti. Oo C c. 
ja r O ir 10 or t 
og = 4 Fy Popma, Po a, Por 4, eS (25) 
Nn; n, n, ni n, n, njn,.n, 


其 次 , 将 预算 表达 式 公 式 (21) 代 入 到 本 文 提 到 
的 拉 格 明日 一 般 式 公式 (2) 中 ， 得 到 : 
minL(n,,N,.,1,,2) = 02 —A(cnjn,n,-B) (26) 
最 后 ， 参 考 Marcoulides 和 Goldstein (1990) 的 
结论 ， 得 到 在 pxixrxo 概 化 设计 下 最 佳 样本 量 忆 、 
, 、1 的 表达 式 为 : 


n 


2 2 42 = 
= 3 (05; tO) B 
-— i PECORE SES DL 
C N d \ [es 二 O pio X6, m Caan) d 


2 2. 42 
Op tO C 
E ( pr par) (5). (27) 
C 


2 2 2 2 
\ (655 F Opio MO pi * Opir) 


(65, * Frio) B 
ee 
° Voz; + op MO pr + Fpor) c 
在 公式 (27) 中 ，5 在 本 研究 中 相当 于 B 。 
5.3.3” 柯 西 不 等 式 法 
在 前 人 的 研究 中 ,并 没有 将 柯 西 不 等 式 运用 到 
三 侧面 设计 中 的 研究 ,其 原因 可 能 与 柯 西 不 等 式 法 
构造 较为 复杂 、 较 难 推广 有 关 。 本 研究 利用 放 缩 法 , 
将 柯 西 不 等 式 法 推广 到 三 侧面 交叉 设计 ， 如 下 : 
首先 , 将 pxixrxo 设计 的 相对 误差 方差 表达 式 
公式 (20)， 放 缩 为 : 


2 2 2 2 2 2 2 
aj = Pb. pro, P a DP. y. po y por | Ores (28) 
non, on, n; n, n, n; 

其 次 , 参照 公式 (22), 构建 预算 表达 式 : 
cn; t C,n, t c,n, SB (29) 
最 后 ,根据 柯 西 不 等 式 的 构造 法 ,可 得 六 n,a 
n, 的 表达 式 : 


B 
Nn; = 
(65, + Frio) G; (Or HO pon) 
C; tC, +C, 
(65; + Op + Ors) “Co (67; + Op + Ons) “Cy 
2 2. 

05. +O op °C; 

n, = LU a MM (30) 
(65; * O pir 出 Ores) “Cr 


2. 2 
(65, * C jio) °C; 


n, = n; 
Ge + es 二 0,4) “Co 
5.3.4 ”约束 进化 算法 


在 三 侧面 设计 研究 中 , 约束 进化 算法 依然 无 需 
推导 计算 表达 式 。 因 为 约束 进化 算法 可 以 兼容 公式 
(21) 和 公式 (22) 两 种 预算 表达 式 ， 所 以 , 约束 进化 
算法 在 这 里 起 到 了 比较 桥梁 的 作用 ， 即 三 种 传统 方 
法 分 别 可 与 约束 进化 算法 进行 比较 ,运用 本 研究 所 采 
用 的 改进 型 差分 进化 算法 时 , 需 调整 的 关键 参数 有 : 

(D 初 始 化 目标 维 数 M = 1, 决策 变量 维 数 Dim = 2。 

(2) 编 写 优 化 目标 : pop.ObjV=evc_p/(evc_p+ 
evc_pi/xl)+evc_pj/x2+evc_pk/x3, +evc_pij/(x1*x2)+ 
evc_pik/(x1*x3)+evc_pjk/(x2*x3)+evc_res/(x1*x2*x3)). 

(3) 编 写 两 种 约束 条 件 即 pop.CV = np.hstack 
([(cl*x1+c2*x2+c3*x3)-B]) LA & pop.CV = np.hstack 
([x1*x2*x3-B]). 

(4) 调 试 进化 种 群 适用 度 、 变 异 率 、 重 组 率 等 重 

myAlgorithm.MAXGEN = 40000 # 最 大 进化 
代数 ; 

myAlgorithm.mutOper.F = 0.00001 4 差分 进化 
中 的 参数 E; 

myAlgorithm.recOper.XOVR = 0.8 # 
54 计算 方法 研究 工具 

pxixrxo 研究 与 pxixr 研究 所 使 用 的 计算 方法 
研究 工具 类 似 , AEG. 

5.5 ”模拟 数据 生成 
根据 pxixrxo 的 数学 模型 : 
三 AL 二 1 十 从 十 入 二 Wo 十 Ypo 十 Vio 十 Wo EV V 


| 四 
pap 


组 概率 ; 


X piro 
Vpr + Vir +V pir +V pio +V pro Viro +Vpiroe (81) 
根据 上 文 提 到 的 模拟 数据 生成 方式 , 需要 确定 
模拟 数据 参数 o,、o;、o, . Oos Ou. Cus Cp. 
Ors Opin Fo AT RUN ALAA RK 
般 性 , 采用 了 Meyer 等 人 (2014) 在 研究 中 提 到 的 三 
侧面 交叉 设计 方差 分 量 作为 本 次 模拟 研究 的 参数 (出 
于 统一 性 的 考虑 ,更 换 了 部 分 符号 )， 如 表 4 所 示 。 
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表 4 pxixrxo 设计 方差 分 量 

p 1 r o po io ro pi pr ir pir pio pro iro piro,e 

0.227 0.013 0.192 0.005 0.085 0.006 0.009 0.026 0.053 0.007 0.053 0.298 0.017 0.005 0.321 


根据 实践 中 的 研究 经 验 , 本 设计 将 测量 目标 p 
的 样本 量 n, 固定 为 30。 为 了 探讨 在 测量 侧面 不 同 
水 平 数 情况 下 各 预算 限制 最 佳 样本 量 估 计 方 法 的 
有 效 性 , 在 模拟 数据 生成 中 , 本 研究 采用 了 大 小 两 种 
测量 侧面 水 平 数 ，n, = (15,25), n, = (5,10), n,= (5,10), 
形成 了 2x2x2 八 种 不 同 的 模拟 设计 ,每 种 设计 的 预 
算 取 值 分 别 为 B = (800,900,1000,1100,1200,1300, 
1400,1500)。 因 为 数据 量 特别 大 ,所 以 每 种 设计 仅 
模拟 200 次 , FE 1600 次 。 八 批 数据 生 成 后 ， 利 用 
上 文 提 到 的 gtheory 包 分 析 方 差分 量 , 为 了 后 续 分 
Nr, 将 所 得 200x8 个 结果 分 别 输出 到 csv 文件 中 。 
5.6 ”模拟 数据 参数 估计 

得 到 八 批 方差 分 量 数据 后 , 利用 上 文 5.3 提 到 
的 4 种 计算 方法 以 及 自 编 R 语言 微分 优化 法 、 拉 格 
朗 日 法 、 柯 西 不 等 式 法 分 析 程 序 ， 以 及 Python 语言 
约束 进化 算法 分 析 程 序 ， 进行 批量 分 析 , 得 到 200x8 
组 概 化 系数 、 最 佳 样本 量 、 设 计 花 费 、 分 析 用 时 等 结 
TR, 并 将 结果 输出 至 csv 文件 , 方便 后 续 分 析 。 
5.7 ”模拟 研究 结果 

为 了 便于 分 析 , 本 研究 分 别 对 得 到 的 5x8 (5 种 


方法 x 8 种 模拟 设计 ， 其 中 约束 进化 算法 出 现 两 次 ) 
批 次 最 佳 概 化 系数 取 平 均 数 ,通过 比较 概 化 系数 平 
均 数 比较 4 种 方法 ,出 于 简洁 的 原因 ,这 里 只 呈现 
5x4 种 结果 (如 表 5 和 表 6 所 示 )。 

5.8 ”分 析 与 讨论 

由 表 5 可 以 看 出 ,在 pxixrxo 三 侧面 概 化 设计 
中 , 拉 格 朗 日 法 虽然 得 到 的 概 化 系数 更 高 ， 但 代 
价 是 普遍 地 大 幅度 超出 预算 限制 ， 导致 这 种 方法 
的 指导 意义 严重 下 降 。 而 微分 优化 法 虽然 严格 执 
行 了 预算 限制 , 但 由 于 优化 公式 较为 笨拙 ， 无 法 
达到 较为 优秀 的 优化 结果 ， 而 约束 进化 算法 无 论 
在 对 预算 的 遵守 上 ,还 是 在 优化 结果 上 ， 都 表现 
得 非常 优秀 。 

由 表 6 可 以 看 出 , 在 pxixrxo 三 侧面 概 化 设计 
rp, 柯 西 不 等 式 法 也 能 取 到 较为 优秀 的 概 化 系数 ， 
但 需要 注意 的 是 , 柯 西 不 等 式 法 严格 依赖 特定 的 预 
算 表 达 式 ， 若 预算 表达 式 稍 有 变动 , 则 柯 西 不 等 式 
无 法 使 用 。 然 而 ,约束 进化 算法 即便 在 符合 柯 西 不 
等 式 特定 的 预算 表达 式 下 , 也 取得 了 比 柯 西 不 等 式 
法 更 为 优异 的 概 化 系数 ， 表 现 出 较 强 的 稳健 性 


o 


R5 约束 进化 算法 与 微分 优化 法 、 拉 格 朗 日 法 比较 
样本 量 组 合 

条 件 5x15x5 5x15x10 
组 合 概 化 系数 最 佳 样 ”最 佳 样 最 佳 样 ”设计 分 析 概 化 最 佳 样 ”最 佳 样 ” 最 佳 样 ”设计 分 析 

i 本 量 n， KE m Attn, 花费 用 时 /s 系数 本 量 n， 本 量 n。 En o 花费 用 时 /s 
微分 0.87817495 2.3127595 82.202016 4.2080120 800 0.88471850 2.5147869 80.646650 4.4376697 900 
优化 法 0.86539109 2 82 4 656 an 0.88810806 3 81 4 972 in 
拉 格 0.92365199 5.6781953 27.620465 6.6991252 1050.7 0.92652447 5.9837807 28.622702 6.9407586 1188.8 
WEHI 0.92704140 6 28 7 1176 SAP 0.92713459 7 34 8 1218 XN 
约束 进 0.88528957 5.7857628 49.674564 2.7834917 799.9 0.91616891 11.913346 10.781614 6.9123128 1000 
化 算法 0.89205920 6 50 3 900 P 0.91748451 12 11 7 924 Tm 

样本 量 组 合 

条 件 5x25x5 5x25x10 
组 合 概 化 系数 最 佳 样 ” 最 佳 样 最 佳 样 ”设计 分 析 概 化 系数 最 佳 样 ” 最 佳 样 ” 最 佳 样 ”设计 分 析 

7 An; 本 量 m 本 量 n， 花费 用 时 /s 本 量 n， 本 量 n。 本 量 n， 花费 时 /s 
微分 0.89293562 2.682893 80.032004 4.657285 1000 0.89277702 2.7866442 79.717925 4.9517096 1100 
优化 法 0.90227221 3 80 5 1200 a 0.89713009 3 80 5 1200 uae 
拉 格 0.93024553 6.187979 29.937401 7.132465 1321.3 0.92911955 6.3653751 30.705416 7.4224466 1450.7 
WHI 0.92881883 6 30 7 1260 ve 0.92562861 6 31 7 1302 AU 
约束 进 0.92295047 4.401688 23.866680 9.518668 994.8 0.92338934 6.1970158 23.784237 7.4631270 1098 
化 算法 0.92057362 4 24 10 960 dd 0.92043541 6 24 7 1008 edi 
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约束 进化 算法 在 两 种 预算 表达 式 下 都 表现 良 
好 ,这 也 表明 了 约束 进化 算法 具有 传统 方法 不 可 比 
拟 的 扩展 性 和 重 棒 性 。 柯 西 不 等 式 法 的 效果 较 好 ， 
从 侧面 也 说 明了 本 研究 首次 提出 的 三 侧面 柯 西 不 
等 式 方法 的 推导 是 正确 的 。 

在 运算 时 间 上 , 传统 方法 因为 所 有 的 分 析 过 程 
都 是 在 计算 机 程序 之 外 完成 的 ， 所 以 看 起 来 比 约束 
进化 算法 快 一 些 。 但 是 ,考虑 到 实际 研究 中 ， 概 化 
设计 方案 的 选择 仅 在 测验 研究 时 进行 一 次 ,这 点 时 
间 几 乎 可 以 忽略 不 计 。 


6 综合 讨论 


61 预算 舍 入 的 影响 

从 以 上 研究 结果 可 以 看 出 ,4 种 概 化 理论 预算 
限制 下 最 佳 样本 量 估计 方法 均 为 连续 优化 ， 所 得 的 
最 佳 样本 量 结果 都 为 非 整 数 。 而 在 测量 实践 中 ,一 
般 要 求 样本 量 为 整数 ， 可 以 采用 四 人 铭 五 人 的 方法 取 
得 近似 最 优 解 。 然 而 , 一 方面 这 种 舍 人 取得 的 整数 
样本 量 未 必 是 最 佳 的 整数 样本 量 ,， 男 一 方面 ， 这 种 
舍 人 常常 会 造成 成 本 超出 预算 限制 ， 这 点 各 研究 中 
已 经 被 反复 证 实 。 在 测验 规模 较 大 时 , 这 时 超出 的 
预算 费用 可 能 非常 可 观 ， 而 这 是 人 们 应 该 避免 的 。 
避免 因 舍 入 导致 测 量 费 用 与 预算 不 符 的 一 个 相对 
简便 的 操作 方法 是 佑 算 舍 入 后 样本 可 能 的 所 有 排 
PN ZA, 并 从 中 选择 最 佳 的 观察 数量 。 男 外 ， 
Sanders 等 人 (1989) 提 出 了 整数 规划 方法 , 也 可 用 于 
获得 最 住 样本 量 。 整数 规划 方法 的 优点 是 不 需要 对 
结果 进行 会 入, 但 这 种 方法 可 行 性 较 差 .对 算法 设 
计 要 求 高 ,计算 量 大 ,其 实用 性 不 如 本 研究 提 到 的 
4 种 算法 。 
6.2 方差 分 量 为 负数 的 影响 

在 某 些 概 化 理论 研究 设计 中 , 所 估计 的 方差 分 
量 可 能 为 负 值 ， 这 可 能 源 于 数据 本 身 的 问题 。 一 般 
而 言 ， 在 进行 研究 时 , 方差 分 量 为 负 的 情况 可 以 当 
作 方 差分 量 为 0 处 理 。Brennan (2001) 指出 , 将 负 
数 的 方差 分 量 代 入 计算 或 将 其 归 零 代入 计算 ， 所 得 
结果 可 能 无 异 , 但 需 注意 负数 方差 分 量 的 出 现代 表 
着 数据 的 正确 性 可 能 出 现 了 问题 。 除 此 之 外 , 由 于 
传统 方法 需要 进行 大 量 分 式 运算 , 将 方差 分 量 直接 
设 为 0 可 能 会 出 现 无 法 求解 的 情况 。 然 而 ,本 研究 
所 使 用 的 约束 进化 算法 则 不 会 出 现 这 种 问题 。 
6.3 ”固定 侧面 的 影响 

本 研究 讨论 的 三 种 概 化 设计 均 为 随机 侧面 概 
化 设计 。 然 而 , 在 某 些 情况 下 ,仅仅 需要 一 定 的 侧 


面 水 平 数 量 , 或 者 某 些 侧面 水 平 是 不 可 变 的 ， 则 这 
种 设计 就 成 为 固定 侧面 概 化 设计 。 在 固定 侧面 概 化 
设计 中 ， 当 固定 侧面 数量 增加 时 , 测验 的 误差 来 源 就 
会 减少 ,相应 的 概 化 系数 就 会 提高 。 在 概 化 理论 预算 
限制 下 最 佳 样本 量 估 计 的 研究 中 ,Meyer 等 人 (2014) 
讨论 了 关于 含有 固定 侧面 的 三 侧面 概 化 设计 的 求 
解 方 法 。 显然 , 含有 固定 侧面 的 问题 相对 较为 简单 ， 
可 以 由 随机 侧面 的 最 佳 样本 量 求解 问题 简化 解决 。 
6.4 不 平衡 设计 的 影响 

在 概 化 理论 测量 实践 应 用 中 ， 有 可 能 出 现 不 平 
衡 设 计 的 情况 。 在 本 人 研究 中 ，(r:p)xi 设计 为 典型 的 
不 平衡 设计 ， 这 是 因为 侧面 p 的 各 水 平 数 不 一 致 。 
一 般 地 ,在 概 化 理论 方差 分 量 估 计 中 ,这 种 情况 应 
该 当 作 缺失 数据 处 理 。 然 而 , 在 概 化 理论 中 ， 对 缺 
失 数 据 的 处 理 方法 是 将 缺失 值 以 最 大 的 水 平 数 为 
标准 进行 空 值 补 齐 , 不 平衡 数据 中 不 同 水 平 样本 量 
差别 很 大 时 ， 需 要 进行 空 值 补 齐 的 缺失 值 就 会 非常 
多 ,使 数据 总 量 发 生 巨 大 变化 ,从 而 对 方差 分 量 佑 
计 产 生 巨 大 影响 , 可 能 偏离 真实 情况 。 然 而 ,本 研 
究 所 使 用 的 约束 进化 算法 有 效 地 解决 了 不 平衡 设 
计 的 影响 。 
6.5 ”计算 机 程序 对 传统 方法 的 影响 

本 研究 所 涉 内 容 众 多 、 数 据 复杂 ， 所 以 采用 了 
自 编 程序 的 方法 , 将 三 种 传统 方法 程序 化 进行 批量 
计算 求解 。 虽 然 有 计算 迅速 、 使 用 方便 等 优点 ,但 
不 可 忽视 的 是 , 计算 机 本 身 的 精度 限制 和 计算 原理 
的 限制 可 能 对 计算 结果 产生 微小 影响 。 例 如 ,应 用 
求解 方程 的 计算 机 方法 ， 本 研究 微分 优化 法 在 将 某 
些 方差 分 量 代 入 计算 时 ,可 能 会 出 现 找 不 到 解 的 情 
D», 虽然 最 终 采 用 了 较为 复杂 的 方法 解决 了 这 个 问 
题 ， 但 仍然 值得 警惕 和 注意 。 本 研究 对 三 种 传统 方 
法 的 程序 化 使 用 的 是 及 语言 , 但 可 能 会 因 其 他 计算 
机 语言 的 计算 精度 或 原理 与 R 语言 的 不 同 而 产生 
细微 差别 。 
6.6” 放 缩 法 对 传统 方法 的 影响 

为 了 满足 三 侧面 概 化 设计 求解 预算 限制 下 最 
住 样本 量 的 要 求 , Marcoulides 和 Goldstein (1990) 提 
出 了 一 种 调整 相对 误差 方差 表达 式 的 方法 ， 相当 于 
数学 上 的 “ 放 缩 法 ”， 以 获得 相对 误差 方差 的 上 界 ， 
他 将 这 种 放 缩 思想 带 入 了 拉 格 天 日 法 求解 过 程 。 本 
研究 也 使 用 了 这 种 “ 放 缩 法 ” 将 柯 西 不 等 式 的 适用 
范围 推广 到 了 三 侧面 概 化 设计 中 。 但 是 ,在 模拟 研 
究 中 都 可 以 看 出 , 使 用 “ 放 缩 法 ”的 拉 格 朗 日 法 虽然 
能 够 得 到 比较 好 的 概 化 系数 , 但 是 超出 预算 限制 比 
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较 明显 。 在 预算 总 额 不 高 的 情况 下 ,超出 部 分 可 能 
不 明显 , 但 在 高 预算 的 大 型 测验 中 ,这 种 程度 的 超 
出 预算 则 是 很 难 被 接受 的 。 本 研究 首次 提出 在 三 侧 
面 概 化 设计 中 对 柯 西 不 等 式 法 进行 放 缩 应 用 , 在 特 
定 预 算 表达 式 条 件 下 得 到 了 较 好 的 结果 ,并 符合 预 
算 。 但 是 , 需要 注意 的 是 ， 由 于 放 缩 法 原理 的 限制 ， 
必然 会 产生 不 精确 的 结果 , 所 以 在 应 用 中 ,应 特别 
注意 在 所 得 结果 的 一 定 范围 内 搜寻 最 优 解 。 
6.7 ”约束 进化 算法 性 能 的 影响 
约束 进化 算法 作为 计算 机 程序 算法 ， 所 使 用 的 
计算 机 性 能 会 影响 其 运行 速度 。 本 研究 为 了 探讨 一 
般 情况 下 的 约束 进化 算法 的 使 用 情况 , 没有 使 用 在 
模拟 研究 中 使 用 的 Linux 高 性 能 工作 站 进行 计算 , 而 
是 采用 了 普通 PC (15 Ab, 8G 内 存 ) 在 Windows 环 
境 下 进行 运算 。 得 到 的 运算 时 间 都 在 秒 级 ,运算 速 
度 完 全 能 够 满足 实际 研究 的 需要 。 另 外 , 本 研究 所 
使 用 的 改进 型 差分 进化 算法 ， 是 约束 进化 算法 中 对 
单 目标 优化 较为 成 熟 的 一 种 。 但 是 ,约束 进化 算法 种 
类 繁多 ,， 仅 在 单 目 标 优化 领域 就 有 多 染色 体 遗 传 算 
法 、 多 染色 体 稳 态 遗 传 算法 等 很 多 种 新 算法 ， 每 种 
算法 都 有 各 自 特点 , 不 排除 其 他 算法 在 概 化 理论 预 
算 限 制 下 最 佳 样本 量 求解 问题 上 有 更 优异 的 表现 。 


7 结论 


通过 将 三 种 传统 方法 与 约束 进化 算法 在 pxixr 
设计 、(r:p)xi 设计 和 pxixrxo 设计 的 模拟 研究 进行 
比较 ,本 研究 发 现 : 

(1) 在 两 侧面 概 化 设计 问题 的 优化 性 能 上 , 约 
束 进化 算法 稍 好 于 传统 方法 ,而 三 种 传统 方法 表现 
相当 。 在 两 侧面 pxixr 设计 与 (r:p)xi 设计 下 ， 当 预 
算 表 达 式 相同 时 ,三 种 传统 方法 所 得 到 最 佳 样本 量 
结果 几乎 一 致 ， 都 表现 出 了 很 好 的 性 能 。 但 不 约 而 
同 的 是 , 在 某 些 条 件 下 会 超出 预算 。 而 约束 进化 算 
法 不 仅 在 精度 上 达到 了 与 传统 方法 相同 ， 而 且 在 对 
预算 限制 条 件 的 遵守 上 更 佳 。 

(2) 在 三 侧面 概 化 设计 问题 的 优化 性 能 上 , 约 
束 进化 算法 明显 好 于 传统 方法 ,三 种 传统 方法 表现 
存在 差异 。 在 pxixrxo 设计 下 , 微分 优化 法 得 到 的 
概 化 系数 最 差 , 但 对 预算 的 遵守 性 最 好 ; 拉 格 朗 日 
法 得 到 的 概 化 系数 最 好 ,但 超出 预算 较 多 ,在 对 预 
算 要 求 较 为 严格 时 无 法 形成 有 效 指导 建议 。 在 与 微 
分 优化 法 和 拉 格 朗 日 法 比较 中 , 约束 进化 算法 不 仅 
取 到 了 相对 最 优 的 概 化 系数 ， 还 较 好 地 遵守 了 预算 
限制 , 综合 表现 明显 优 于 其 他 两 种 方法 。 在 约束 进 


化 算法 与 柯 西 不 等 式 法 的 比较 中 , 柯 西 不 等 式 法 在 
特殊 预算 表达 式 表 现 较 好 ， 既 得 到 了 较 好 的 概 化 系 
数 ， 又 较 好 地 遵守 了 预算 限制 ， 而 约束 进化 算法 的 
综合 表现 则 稍 好 于 柯 西 不 等 式 法 , 尤其 更 加 贴近 预 
算 限 制 。 

(3) 在 复杂 度 上 , 约束 进化 算法 明显 低 于 传统 
方法 。 三 种 传统 方法 复杂 度 均 比较 高 , 在 两 侧面 设 
计 下 尚 可 正常 推导 和 计算 , 在 三 侧面 设计 下 就 变 得 
非常 困难 ,在 四 侧面 及 以 上 设计 下 则 几乎 不 可 推导 
和 计算 。 并 且 , 传统 方法 在 多 侧面 的 推广 上 严重 依 
赖 于 放 缩 法 ， 但 放 缩 法 可 能 易 使 算法 精度 降低 ， 导 
致 侧面 越 多 ， 传 统 方法 性 能 越 差 。 而 约束 进化 算法 
简洁 , 复杂 度 远 低 于 传统 方法 。 约 束 进 化 算法 在 各 
种 设计 下 计算 方法 几乎 相同 ,只 需要 经 验 操作 就 可 
以 得 到 非常 好 的 结果 ,对 于 普通 研究 者 非常 友好 。 

(4) 在 适用 性 上 , 约束 进化 算法 显著 优 于 传统 
方法 。 三 种 传统 方法 的 适用 性 均 比较 狭窄 ， 拉 格 朗 
日 法 适用 性 相 较 于 其 他 两 种 传统 方法 稍 好 。 但 是 ， 
三 种 传统 方法 均 依 束 于 特定 的 概 化 设计 和 预算 表 
达 式 ， 当 概 化 设计 或 预算 表达 式 发 生变 化 时 ， 则 可 
能 无 法 满足 需求 。 而 约束 进化 算法 则 不 依赖 特定 的 概 
化 设计 与 预算 表达 式 , 在 两 侧面 、 三 侧面 等 概 化 设计 
和 不 同 预算 表达 式 下 均 表现 良好 , 适用 性 极 强 。 

(5) 在 推广 性 上 , 约束 进化 算法 明显 好 于 传统 
方法 。 三 种 传统 方法 由 于 数学 原理 的 限制 , 难以 推 
广 到 更 加 复杂 的 概 化 设计 上 ,并 在 计算 上 可 行 性 相 
对 较 差 。 而 约束 进化 算法 则 具有 广泛 的 扩展 性 ， 可 
以 推广 到 四 侧面 及 更 复杂 的 概 化 设计 中 。 使 用 多 目 
标 约束 进化 算法 还 可 以 推广 到 多 元 概 化 设计 的 最 
佳 样 本 量 佑 计 问 题 上 ,应 用 空间 广阔 。 

(6) 在 得 到 最 优 解 的 可 能 性 上 , 约束 进化 算法 
也 优 于 传统 方法 。 因 为 进化 算法 是 一 种 概率 算法 ， 
所 以 本 研究 中 一 次 运行 得 到 的 结果 几乎 不 一 定 是 
最 优 解 , 和 若 多 次 运行 ， 则 能 找到 更 佳 的 样本 量 估 计 
ZR, 故 在 某 些 条 件 下 ,约束 进化 算法 可 以 发 现 传 
统 方法 无 法 发 现 的 最 优 解 。 

(7) 综 合 以 上 绪论， 本 研究 认为 ,在 概 化 理论 预 
算 限 制 下 最 佳 样本 量 估 计 间 题 上 , 约束 进化 算法 作 
为 一 种 新 方法 , 优 于 其 他 传统 方法 ,建议 研究 者 在 
今后 的 研究 中 优先 使 用 。 
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Abstract 

Generalizability Theory (GT) is widely applied in psychological measurement and evaluation. A larger 
generalizability coefficient often indicates a higher reliability the test may have. Generalizability coefficients 
can be improved by increasing sample sizes. However, the size of a sample would be subject to budget cons- 
traints. Therefore, it is important to examine how to effectively determine the size of a sample considering the 
budget constraints. The existing literature has been largely limited to traditional methods, such as the differential 
optimization method, the Lagrange method and the Cauchy Schwartz inequality method. 

These traditional methods have limited scope of application and their typical conditions are hard to satisfy. 
In addition, there is no unified comparison available. Fortunately, with the increased use of high performance 
computing, the Constrained Optimization Evolutionary Algorithms (COEAs) becomes highly feasible. 

This paper expands and compares the four methods—the differential optimization method, Lagrange 
method, Cauchy Schwartz inequality method, and COEAs—determine the best solution to the optimal sample 
size problem under the budget constraints in GT. Specifically, this paper compares the applicability of the four 
methods using three generalizability designs, including p x i X r, (r: p) x i and p x i x r x o designs. The results 
are presented as follows: 

(1) In the optimization performance of two-facet generalizability design of p x i x r and (r: p) x i, the 
performance of COEAs is slightly better than that of the traditional methods, whereas the performance of three 
traditional methods is equivalent. Although COEAs and the traditional methods have showed similar accuracy, 
the former has better compliance concerning budget constraints. 

(2) In the optimization performance of three-facet generalizability design of p x i x r x o, the performance 
of COEAs is obviously better than that of the traditional methods. The least ideal generalizability coefficient is 
obtained using the differential optimization method, whereas its budget compliance is the best; the genera- 
lizability coefficient obtained by Lagrange method is the best, but higher than the budget. The Cauchy inequality 
method obtains a better generalizability coefficient under special budget constraints. But, the performance of 
COEAs is slightly better than that of Cauchy Schwartz inequality method, especially closer to the budget constraints. 

(3) In terms of the algorithm complexity, COEAs obtains an obviously smaller algorithm complexity than 
do the traditional methods. The complexity of the three traditional methods is relatively high. However, COEAs 
does not rely on the derivation of mathematical formulas, and the algorithm is relatively less complex. 

(4) In terms of the algorithm applicability, COEAs is significantly better than the traditional methods. The 
applicability of the three traditional methods is relatively narrow. However, COEAs does not rely on a specific 
generalizability design or a budget expression, and, therefore, the applicability of COEAs is stronger. 

(5) In terms of the algorithm generalizability, COEAs is obviously better than the traditional methods. The 
limited mathematical principles make it difficult to extend the three traditional methods to more complex gene- 
ralizability designs, and thus, the feasibility of calculation is poor. Howerve, COEAs has revealed stronger 
generalizability. 
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(6) In terms of the possibility of getting the best solution, COEAs is also better than the traditional methods. 
Because evolutionary algorithm is a probabilistic algorithm, multiple tests can be conducted to obtain better 
results for optimal sample sizes. Under some conditions, COEAs can determine better solutions, which, however, 
is impossible for three traditional methods. 

(7) These results suggest that COEAs is superior to three traditional methods in estimating the optimal 
sample size problem under the budget constraints in GT. It is recommended that researchers use COEAs in 
future research to determine an optimal sample size in their psychological measurement and evaluation. 

Key words  Generalizability Theory, budget constraints, estimating the optimal sample size, Constrained 
Optimization Evolutionary Algorithms 


